即時快訊
芋頭控開吃!萊爾富芋頭季登場 從鹹蛋黃麵包一路吃到海鮮燉飯 115年「斥詐好人隊」成果表揚暨交流活動 培育在地防詐種子講師 讓防詐知識走進日常生活 板橋新埔捷運站港式料理 港點職人讓你吃到最對味的炒飯、干炒牛河、餛飩湯撈麵 非洲加密貨幣採用率四年翻倍 坦尚尼亞擠進前八強 日本企業掀設計思考無用論 日媒直指核心誤解在應用方式 加納天然氣廠改聘本國專家 撤換50名中國工程師年省4200萬美元 黃仁勳辭任輝達執行長震撼各界 台灣支持者難以置信 分散美股風險 5檔非美市場熱門ETF解析 避免AI代理失控出包 專家籲將Prompt納入版本控制 全美銀行第三季營收創歷史新高 重啟庫藏股並大舉招募
圖/本報資料庫
科技生活

·2 months ago·責任編輯
#AI模型#輕量化模型#消費級硬體#Prism ML#裝置端AI
圖/本報資料庫
圖/本報資料庫
商傳媒|責任編輯/綜合外電報導
摘要

AI 新創公司 Prism ML 推出超輕量級 AI 模型 Bonsai 2 27B,該模型透過創新技術大幅縮小體積,但仍保有高達 98.2% 的運算能力,使其能夠在個人電腦和高階行動裝置上運行,為個人隱私與裝置端 AI 應用帶來突破性進展。

AI 新創公司 Prism ML, Inc. 於週四宣布,推出第二代超輕量級多模態生成式人工智慧模型 Bonsai 2 27B。這款模型不僅體積精巧,能夠在個人電腦和部分高階行動裝置上運行,同時仍保持高度智慧,有望推動 AI 技術的普及化。

Bonsai 2 27B 的核心突破在於,它成功地在大幅縮小模型體積的同時,仍能保持高水平的運算效能,這對於在有限硬體資源上運行複雜 AI 功能至關重要。該公司透過一種「三元」(ternary)方法,將模型原始的 Qwen3.8 27B 模型從未壓縮的 16 位元(約 56 GB)大幅縮減至約 5.9 GB,但仍保留約 98.2% 的能力。這種方法將模型中的權重(parameters,即 AI 學習到的知識點)從 16 位元簡化為僅使用 +1、0、-1 三種狀態來儲存資訊,從而大幅減少記憶體佔用。

性能方面,Bonsai 2 27B 在多項基準測試中表現優異。在代理(agentic)和工具調用(tool calling)基準測試中,Bonsai 2 與 Qwen3.8 的得分僅相差不到三點(分別為 77.6 和 79.8)。在程式編碼(coding)相關測試,包含 HumanEval+、LiveCodeBench v6、MBPP+ 和 BigCodeBench 等,Bonsai 2 的總體得分為 81.6,與 Qwen3.8 的 82.2 分相當。知識與推理(knowledge and reasoning)的總體得分更以 82.7 分略優於 Qwen3.8 的 81.3 分。

這款輕量級模型能夠在各種消費級硬體上高效運行。例如,在輝達(Nvidia)GeForce GTX 5090 顯示卡上,Bonsai 2 可以在不需量化處理(quantization)的情況下,達到每秒 143 個 Token 的處理速度。在蘋果公司(Apple Inc.)M5 Max 晶片上,也能達到每秒 46.8 個 Token。此外,Bonsai 2 的能耗也相當低,每處理一個 Token 僅消耗 0.714 兆瓦時,比其他全精度運行、80 億參數的模型節省了 40% 的能源。

超輕量級模型的發展,意味著未來用戶將能把 AI 模型直接運行在本地裝置上,而非依賴雲端運算。這將有效降低延遲、提升個人隱私和資料安全性,避免第三方數據共享,並有助於符合更嚴格的隱私規範。對於翻譯、摘要等簡單任務,AI 將可直接在裝置上完成,而更複雜的任務則可能仍需雲端模型的協助。Bonsai 2 模型已於今日透過 Apache 2.0 許可證開放模型權重(weights)供外界使用,可在支援 CUDA 的輝達 GPU 和支援 MLX 的蘋果裝置上運行。


在 Google 搜尋的熱門報導中優先看到商傳媒
加入為 Google 偏好來源